DocOps: A Verifiable Benchmark for Autonomous Agents in Complex Document Operations
DocOps：面向复杂文档操作的自主代理可验证基准
🧭 Agent 评估基准 · 文档操作
Chinese Academy of Sciences · University of Chinese Academy of Sciences · Baidu Inc.
构建可确定性验证的文档操作基准，揭示前沿代理在长程耦合任务中状态跟踪崩溃、浅层验证等关键失效模式
📌 工作参考价值（4 点）
- 评估框架的设计思路（层次化任务分解、确定性验证）可迁移至电商搜索/推荐 Agent 的自动化评测，避免人工标注成本，确保可复现性
- 识别出的三种失败模式对构建面向长流程任务（如多步查询改写、动态过滤条件组合）的 Agent 有直接警示：需加强长程状态追踪、深层次语义校验、避免破坏性操作
- 文档操作中的“全局一致性维护”问题类似推荐系统中多轮对话或交叉操作下的状态管理，借鉴其分析维度可设计更鲁棒的交互式 RecBot
- 若业务涉及报告自动化、表格数据净化等 Agent 编排，该基准的层级分类可直接作为能力分级和测试用例设计的模板